《大数据技术原理与应用》 期末复习
桂林电子科技大学 三院 大数据课程 复习笔记考试范围：教材:《大数据技术原理与应用》第三版 林子雨第1章：大数据概述 ????第2章：大数据处理架构Hadoop ????第3章：分布式文件系统HDFS ????第4章：分布式数据库HBase第5章：NoSQL数据库第6章：云数据库第7章：MapRed
数据采集及预处理——针对“数据”“采集”“预处理”的理解与解析
数据采集及预处理文章目录数据采集及预处理前言一、 数据二、 采集1.系统日志采集2.网络数据采集3.ETL三. 预处理总结前言一、 数据在计算机系统中，各种字母、数字符号的组合、语音、图形、图像等统称为数据，数据经过加工后就成为信息。数据（data）是事实或观察的结果，是对客观事物的逻辑归纳，是用于
大数据项目实战——基于某招聘网站进行数据采集及数据分析（三）
大数据项目实战第三章 数据采集文章目录大数据项目实战学习目标一、分析与准备1、分析网页结构2、数据采集环境准备二、采集网页数据1.创建响应结果 JavaBean 类2.封装 HTTP 请求的工具类1）定义三个全局变量2）编写 packageHeader() 方法3）编写 packageParam()
基于Spark的音乐专辑数据分析
基于Spark的音乐专辑大数据分析
第3.2章：StarRocks数据导入--Stream Load
一、环境准备Stream Load可以说是StarRocks最为核心的导入方式，StarRocks的主要导入方式例如Routine Load、Flink Connector、DataX StarRocksWriter等，底层实现都是基于Stream Load的思想，所以我们着重介绍。Stream L
Spark一些个人总结
随着大数据技术的发展，一些更加优秀的组件被提了出来，比如现在最常用的Spark组件，基于RDD原理在大数据处理中占据了越来越重要的作用。在此我们探索了Spark的原理，以及其在大数据开发中的重要作用。...
Windows下的Spark环境配置（含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目）
文章目录前言一、下载资源二、本地配置步骤1.解压2.引入本地环境3.启动HADOOP文件4.进行Spark测试三、IDEA引入Spark项目1.idea按照scala插件2.新建scala项目3.配置项目4.新建scala类前言本文适用于《Spark大数据技术与应用》第九章-菜品推荐项目环境配置：`
Spark学习总结
第1章 Spark 概述1.1 Spark是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。主要用于数据计算，经常被认为是Hadoop框架的升级版。1.2 Spark 和Hadoop的缘分组成：Hadoop 是由Java语言编写的，部署在分布式服务器集群上，用于存储海量数据并
【第八章 | 文件管理】《操作系统 慕课版》课后答案 + 复习
《计算机操作系统 慕课版》第八章总复习知识点 + 核心算法 + 课后习题整理。
Hive数据分析案例——汽车销售数据分析
HiveQL汽车销售数据分析，一些简单问题求解
大数据：HBase安装、配置及使用
大数据大数据，HBase，python大数据：HBase安装、配置及使用一、下载二、安装和配置1. 搭建hadoop环境2. 安装3. 验证4. 安装模式配置1) 伪分布式模式配置（1）编辑 `/usr/local/hbase/conf/hbase-env.sh` 文件（2）编辑 `/usr/loc
学生管理系统（MySQL版）
学生管理系统数据库版一、 数据源二、建立数据库导入MySQL数据源，并建立链接建立主程序1.主界面2.登入后界面3.定义插入记录4.定义查询记录5.定义删除记录6.定义修改记录7.定义显示所有记录一、 数据源学号姓名性 别年龄班级专业学院电话2021001李晓红女302021级软件4班软件技术
⼤数据采集和可视化系统实现
前言本篇博客用来记录 2022年春季大数据课程结课大作业（大三下，前8周，小组作业）非常感谢小组同学的付出和积极配合！文章目录1. 实验目的2. 实验环境3. 实验要求4. 实验内容4.1 准备工作4.2 数据的采集和发送4.2.1 流程介绍4.2.2 实验过程4.2.3 源码解析4.3 数据的消费
HIVE选择题总结
hive选择题总结
安装和配置HBase
一、下载阿里云镜像下载比较快。https://mirrors.aliyun.com/apache/hbase/2.4.12/二、安装1、解压解压安装包hbase-2.4.12-bin.tar.gz至路径 /usr/local2、把hbase目录权限赋予给hadoop用户3、配置环境变量将hbase下
atlas安装以及问题整理
Atlas安装：solr版本：8.11.2atlas版本：2.1.0maven版本：3.5.4jdk8一、 SOLR安装1、Solr官网https://solr.apache.org/downloads.html下载8.11.2版本solr（solr版本需要和atlas进行版本匹配）2、上传到服务器
HDFS常用操作
大数据学习笔记01学习林子雨大数据教材的一些笔记HDFS常用操作启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；$ cd /usr/local/hadoop$ ./sbin/start-dfs.sh$ jps在Linux系统的本地文件系统的“/usr/local/spark/
Hadoop大数据开发基础课后答案
Hadoop大数据开发基础课后答案(仅供参考)
什么是WMS系统？WMS系统有什么功能
科技进步促使的数字化转型正在为大多数行业铺平道路，并重新定义它们在各个方面的功能，物流行业也不例外，因为它见证了日常运营的重大转变。改变物流行业的关键之一就是WMS系统的引入。 仓储一直是运输和物流部门的核心支柱，随着新工具、技术和平台的引入，物流的仓库管理和运输领域都从一系列WMS解决方案中
大数据毕业设计题目50例
大数据毕业设计题目50例，该大数据毕业设计题目包含了：“放管服”环境下科技政务大数据平台研究，大数据对会计的挑战及其应对策略试析，新疆畜牧业进入大数据时代，大数据时代高校教学实效问题与路径选择，大数据背景下互联网技术在泾阳县蔬菜种植农业供给侧结构性改革中的应用等。...
